เครื่องมือนักพัฒนา
llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ
PR #27851 ของ llama.cpp ถูก merge เมื่อ 26 ก.ย. และออกใน build b11195 เพิ่มเส้นทางคูณเมทริกซ์แบบ tiled บน CPU ที่ unpack ควอนต์ครั้งเดียวต่อไทล์ 256×256 ผลทดสอบของ bartowski บนโมเดล 27B แบบ dense พบ prompt eval เร็วขึ้น 1.9–3.5 เท่า แต่โมเดล MoE 35B-A3B ได้เพียง 1.08–1.53 เท่า ใช้ได้ดีที่สุดบน CPU ที่มี AVX-512 VNNI และยังไม่มีเวอร์ชัน ARM
· อ่าน 4 นาที